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(57) Abstract: The invenu'on concerns a 
method whereby three-dimensional objects 
(1, 5, 6) of an environment which can be veiy 
conq>lex can be observed by locating their 
simple contour forms on images* and then 
the geometrical characterisdcs, posidons and 
orientadons of said objects are measured. The 
contours are defined by simple parameters 
of length, inclinadon, position and the like. 
For each new image, the previously acquired 
knowledge of the environment is used to 
fine-tune the estimates while introducing into 
the model the new contours of the objects 
which have appeared. 

(57) Abreg^ : Dans ce syst&me, des objets 
tridimensionnels (1, 5t 6) d'un environnement 
pouvant toe tr^ complexe sont discemds en 
rep^rant leurs formes simples de contour sur 
des images, puis on mesure les caract^ristiques 
gdom^triques de ces objets et leurs positions 
et orientations. Les contours sont deflnis 
par des param&tres simples de longueur, 
d'inclinaison, de position, etc. A chaque 
nouvelle image, on utilise la connaissance 
acquise de T environnement pour affiner 
les estimations tout en introduisant dans le 
mod&le les nouveaux contours d* objets qui 
sont appanis. 
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PROCEDE DE MESURAGE D'UN OB JET TRIDIMENSXONNEL, OU D'UN 

ENSEMBLE D'OBJETS 

DESCRIPTION 

L' invention est un precede qui permet de 
5 determiner la g^om^trie, la position et 1 ' orientation 
d'un OU plusieurs objets dans un envirdnnement . 
L'objectif est de fournir des informations 
dimensionnelles ou de mesurage sur des primitives 
tridimensionnelles (points, droites, cercles , 

10 cylindres, .-.) representant ces objets en exploitant 
une projection sur des images acquises par un ou 
plusieurs capteurs . Ces donnees dimensionnelles sont 
exploitees pour le contr61e dimensionnel d' objets 
manufactures (prototype ou serie) , la mesure de 

15 deformation de structure, la mod^lisation 

d' environnements industrials. 

II existe plusieurs - grandes families de 
proc^d^s pour accomplir ce genre de mesurages . Certains 
impliquent une mesure directe des objets de 

20 : -1 ' environnement par la pointe d'un palpeur', mais cette 
methode n'est' pas toujours possible k appli-quer et 
- - devient tres longue d^s - que 1 ' environnement est 
volumineux, encombre ou de forme compliquee ; elle est 
impensable quand il a les dimensions d'un local entier. 

25 D'autres m^thodes recourent a la telemetrie, c'est-a- 
dire qu'on mesure les distances k differents points de 
1 ' environnement sans contact materiel ; un laser est 
successivement dirige vers ces points et la mesure 
porte sur le temps de vol ou le dephasage de I'onde. Un 
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miroir ou un systeme mecanigue est utilise pour diriger 
incessamment le rayon du laser vers d'autres points, ce 
qui permet des mesurages rapides de 1 ' environnement , 
mais on observe que cette m^thode n'est pas tou jours 
5 trfes precise (bien que la resolution ne soit limitee 

que par le systeme de balayage du laser) et t 
s'accompagne d'erreurs quand le faisceau touche des 
objets ref l^chissants, et il faut aussi s' assurer de la 
stabilite du systeme mecanique pendant le balayage et 

10 veiller a la securite des personnes susceptibles de se 
trouver dans le volume de mesure. 

D'autres methodes sont des m^thodes 
optiques dans lesquelles une camera est d6plac6e devant 
1 ' environnement k mesurer et prend une succession 

15 d' images. Les details de 1 ' environnement sont 
identifies sur les differentes images et leur position 
est calcul^e par des triangulations selon leur position 
sur les images respectives et les positions connues a 
I'avance de la camera, en fonction des parametres de 

20 prise d'image de celle-ci. Parfois, on identifie un 
reseau de points de 1 ' environnement , qui ont ete 
illumines par un laser ou un projecteur d'un faisceau 
de rayons ; une lumiere additionnelle peut §tre ajoutee 
pour mieux -eclairer les alentours du^- - reseau . de points 

25 et le faire ressortir du reste de 1 'environnement • 
L' utilisation d'un moyen d' illumination rappelle les 
precedes de telemetrie et entralne des inconvenients 
analogues d' imprecision et d' insecurity, qui ne 
compensent pas tou jours la rapidite et la facilite de 

30 1 ' identification et des calculs qu'.on peut souvent 
atteindre. 
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Dans d'autres methodes, les points a 
mesurer sont des sources lumineuses, des marques 
ref l^chissantes ou colorees posees auparavant dans 
1 ' environnement . Ces mdthodes donnent de bons r^sultats 
5 si* les marques iet leiir position soiit convenablem^^ 
choisies, mais elles ne sont pas applicables dans tous 
les cas et notamment pour des environnements compliques 
et de grande taille : elles semblent surtout 
int6ressantes pour suivre la position d'un objet 

10 d6termin6 et mobile dans 1 ' environnement plut6t que 
pour mesurer 1 ' environnement lui-m§me. 

Enfin, d'autres procedes optiques sont 
fondes sur 1' absence de marques dans 1 ' environnement et 
sur le mesurage de certains points d'interet des 

15 images. Les points d'interet sont choisis 
automat iquement ou par I'operateur dans le cas de 
precedes, interactifs. Ces procedes ont 1 ' avantage 
d'etre universels ou applicables theoriquement a 
n'importe quel environnement, mais il n'est pas 

20 toujours facile de . disposer de points d'interet 
suf f isamment nombreux, et qui soient communs ^ toutes 
les images - I'etape .. d' appariement des points 
homologues sur des images differentes peut etre 
delicate ; -de plus, une description d'un envir-onnement 

25 par des points m§me nombreux est peu evocatrice. 

L' invention constitue un precede faisant 
partie des methodes purement optiques et plus 
precisement de celles qui comportent une analyse 
d' image. Ce nouveau proced^ peut comporter des 

30 triangulations, mais il se distingue f ondamentalement 
des precedes precedents en ce qu'on s'int^resse ici a 
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distinguer des details de 1 ' environnement plutdt qu'a 
dresser une cartographie de ses points. II est en effet 
souvent plus facile et fructueux de discerner un 
element precis de 1 ' environnement et de le distinguer 
du reste, que de disposer d'une connaissance complete 
mais indistincte de cet environnement . Dans le cas, 
frequent en pratique, de mesurage de locaux 
industriels, cette consideration sera d'autant plus 
importante que les Elements et obstacles sont souvent 
nombreux mais de forme simple, de sorte qu'ils se 
superposent et creent un relief tr^s compliqu^, mais 
que 1' exploitation de la representation faite est 
beaucoup plus facile quand on a distingu^ ces Elements 
et qu'on les a caracterises par quelques parametres de 
15 position et de forme. 

Les avantages offerts par le precede sont 
multiples : il n'est point besoin de garnir 
1 ' environnement de marques specif iques ; une portion 
beaucoup plus importante de 1 ' information des images 
est exploitee que si on s'occupe de points d'interet, 
ce qui doit donner une precision meilleure de la 
representation qu'on obtient ; le precede est efficace 
meme avec des surfaces variees, diffusantes ou 
ref lechissantes ; il est applicable a des volumes 
25 varies," eventuellement tres grands ; la dur^e 
d' acquisition est extr§mement rapide, de quelques 
dizaines de millisecondes ; une automatisation complete 
du precede est possible ; la representation peut etre 
parachev6e ulterieurement en y ajoutant de nouvelles 
entites, qui avaient ^te negligees auparavant, ou la 
corrigeant par des mises a jour ou d'autres 
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operations ; et comme elle fournit immediatement un 
modele concret de 1 ' environnement , elle peut §tre 
exploitee immediatement, alors gu'une cartographie de 
points necessite d'etre interpret6e. 
5 lie prociid^ eis t f bnd^ sur un sys 1 4me compos6 
de cinq modules principaux dont voici la liste : 

- un module de traitement d' images qui assure la 
localisation precise des contours naturels des objets 
k reconstruire ; 

10 — un module de reconstruction et localisation C[ui 
determine les parametres geomdtriques des objets et 
la situation du systeme de capture d' images ; 

- un module d' identification qui realise la recherche 
automatique des contours naturels des objets d6ja 

15 reconstruits ; 

- un module d' appariement de points d'int6r§t, pour 
aider ^ replacer ces contours d' objets reconstruits 
sur une nouvelle image ; 

- et un module de reconstruction en bloc, faisant un 
20 calcul d' ensemble ( recapitulatif ) d'apres toutes les 

informations disponibles et ameliorant grandement la 
precision* 

La mise en oeuvre de ce precede necessite 
une ou plusieurs video-cameras etalonnees au prealable 

25 (quoique I'^talonnage ne soit pas necessaire si on se 
limite a des primitives de type ponctuel) , afin de 
disposer de la relation entre tout point de 1' image et 
la position du rayon lumineux associ6. Les etalonnages 
pr^alables ont deja ^te decrits par differents 

30 auteurs ; on peut citer 1' article de Viala, Chevillot, 
Gu^rin et Lavest : « Mise en oeuvre d'un precede 
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d' ^talonnage precis de camera CCD » presente au 
congres Reconnaissance des formes et Intelligence 
Artificielle (Clermont-Ferrand, 20 au 22 janvier 1998) . 
Quand plusieurs cameras sont employees, on parle d'un 
systeme stereoscopique apte a dormer automatiquement un 
module tridimensionnel de 1 ' environnement par une 
recherche de points homologues sur les images et des 
triangulations . Si une seule camera est employee, le 
m§me r^sultat peut etre obtenu par des images 
successives en deplagant la camera d'une quantity 
d^termin^e. Cette quantity peut egalement etre 
determin4e, a posteriori, par calcul si on dispose dans 
I'environnement d'un mfetre ^ talon. 

Pour r^sumer, 1' invention est relative ^ un 
15 procede de mesurage d'objets tridimensionnels d'un 
environnement tridimensionnel, consistant a prendre au 
moins une image par au moins une camera et a creer une 
representation de 1 ' environnement d'apres une analyse 
de 1' image, caracterise en ce que 1 ' analyse comprend 
20 une detection de discontinuites d' aspect de 1' image, 
une association des discontinuites detectees a des 
contours ;geometriques d^finis ^sur. 1' image par -des 
param^tres, un ajustement des contours aux 
discontinuites en. f aisant. varier -les paramfetres, une 
25 estimation de forme et de position dans 1 ' environnement 
d'objets g^ometriques se projetant sur 1' image d'apres 
lesdits contours, la representation comprenant lesdits 
objets. 

La representation de 1 ' environnement est 
complet^e k chague nouvelle image prise ou par des 
informations supplementaires . Le procede peut ainsi 



30 
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comprendre des estimations initiales de position des 
objets ou de la camera i partir d' informations 
specifiees manuellement ou a travers un fichier 
informatique de description, 
5 b'une maniere g^nerale, le precede peut 

etre accompli avec bien des variantes, et de la 
souplesse selon la situation rencontr6e. Une 
.possibility offerte par certaines des meilleures 
realisations est une correction de position des objets 

10 en estimant les positions de projection des objets sur 
les images d'apr^s les position respectives de la 
camera quand les images furent prises, et en ajustant 
les positions de projection estim^es d'aprfes les 
positions de projection mesurees sur les images. 

15 Cette correction est generalement faite au 

cours d'un calcul final recapitulatif ou 1 ' erreur 
totale de la representation est estim^e puis 
minimisee ; on peut aussi rectifier 1' estimation des 
paramfetre des cameras . 

20 On passe maintenant a la description d'une 

realisation concrete de 1' invention au moyen des 
figures suivantes : 

■ la figure lA est un schema d'un systeme d'examen 
dans un environnement typique 

25 ■ la figure IB illustre comment 1 ' environnement est 
pergu sur une image ; 

■ la figure 2 schematise les modules de traitement du 
systeme d'examen ; 

■ les figures 3, 4, 5 et 6 illustrent des 
30 modelisations de contours ; 



OCID: <WO_018t868AlJ.> 



10 



WOOi/81858 PCT/FROl/01274 

8 

■ et les figures 7 et 8 explicitent certaines 
notations utilisees dans la description. 

Les modules enumeres ci-dessus portent les 
references 20 a 24 sur la figure 2 ; ils seront 
maintenant decrits successivement d'apres I'exemple de 
la figure lA, ou 1 ' environnement ^ reconnaltre comprend 
un tuyau 1 doublement coude en 2 et 3 et finissant sur 
una ouverture 4, une caisse 5 et une lampe 6. 
L'appareil de visualisation, appele capteur 7, comprend 
deux video-cameras 8 et 9 montees rigidement (guoique 
de fagon reglable si necessaire) sur un support commun 
10 et relives h un systeme d' exploitation 11 gui 
comprend en particulier une m^moire 12 ou les images 
des cameras 8 et 9 sont conservees et une unite de 
15 traitement 13, Le proced^ conforme a 1' invention 
consiste a exploiter les images les unes apres les 
autres en creant une representation de 1 ' environnement 
qu'on complete et precise en exploitant chaque nouvelle 
image. Ce travail est pour I'essentiel automatique, 
20 quoiqu'un opera teur doive encore, en pratique, 
appliquer son jugement pour completer ou corriger la 
representation dans certaines circonstances . - 

Nous entendons par representation de 
1 ' environnement ^ la mesure ^ -de- caract6ristiques 
25 geometriques ou dimensionnelles d'uri ou plusieurs 
objets, la mesure de caracteristiques geometriques ou 
dimensionnelles d' Elements ou d' objets constituant une 
scene ou un environnement. Ce terme se rapportera 
^galement a la mesure de la position et de 
30 1 ' orientation d'un ou plusieurs objets. 
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Une image de camera consiste en un reseau 
de points ayant des niveaux de gris differents, qui 
sont convertis en valeurs nimeriques pour la 
conservation dans la m^moire 12. La figure IB montre 
5 " que les contours du tuyau 1/ de son ouveftiire 4/ de lai 
* caisse 5 et de la lampe 6 peuvent §tre reprdsent^s 

respect ivement par trois paires de segments (appel6s 
ici limbes) parall^les ou sensiblement 14, 15 et 16, 
une ellipse 17, neuf segments de droite 18, et un point 

10 19. En pratique, ces contours separent des portions de 
teintes differentes sur 1' image et sont done des 
discontinuit6s, ce qu'on exploite pour les mesurer ; 
c'est la tUche du module de localisation 20. 

La localisation des contours naturels sur 

15 une image s'appuie sur des modules dits ddformables ou 
contours actifs (cf. 1' article de Kass, Witkin et 
Terzopoulos : « Snake : Active contour models » dans 
International Journal of Computer Vision, 1(4), p. 321 a 
331, janvier 1988 et la these de Bascle k I'universite 

20 de Nice-Sophia Antipplis (janvier 1994) « Contributions 
et applications des modeles deformables en vision par 
ordinateur ») . lis consistent a faire evoluer 
numeriquement k partir d'une position initiale un 
module deformable de contour tout en calculant son 

25 energie aprfes chaque deformation. Cette energie 
comporte traditionnellement deux termes dont le premier 
exprime la regularite geometrique du modele et rend 
compte de propri^tes physiques 6ventuelles et le second 
rend compte de 1' adequation entre le modele et 1' image 

30 experimentale obtenue. Concretement , ce traitement a 
pour but de regulariser le modele en reduisant ses 
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irregularit^s locales, generalement imputables au 
bruit, sans trop s ' ecarter des informations de 
1' image ; mais il ne fonctionne bien que sur des images 
peu complexes, ce qui n'est pas le cas ici. De plus, on 
5 propose ici une amelioration en decrivant certains 
Elements de 1' image par des parametres g6om6triques 
globaux. On pourra done dire que les modules de 
1 ' environnement qu'on obtiendra seront a la fois 
def ormables et param^triques . 

10 Les contours auxquels on s'int^resse ici 

ont des formes simples et appartiennent k quelques 
types privil6gi6s qu'on rencontre tr^s fr^quemment dans 
la reality : ce sont, comme on I'illustre k la figure 
IB, avant tout le point, la droite, la double droite et 

15 1' ellipse. Un point sera mod61is6 par ses coordonnees 
cartesiennes x et y sur 1' image. Comme les images sont 
finies, les droites seront modelisees par des segments 
et leurs parametres sur 1 ' image seront au nombre de 
quatre : les coordonnees Xo et yo du milieu du segment, 

20 la longueur L du segment et I'angle 6 qu'il forme avec 
I'horizontale sur 1' image, comme le resume la figure 3. 
Tout point du segment obeira aux Equations 



(1) 



X = Xq + u — cos e 
• 2 
L 

y = Yo + ^ - sin e 



avec u compris entre -1 et +1 et 6 compris entre 0 et 
25 n. 

Un cylindre sera apprehende par ses 
contours ou limbes. II s'agira de deux segments 
paralleles, sauf si I'on admet I'effet de la 
perspective. Un modele convenable est r^sum^ par la 



3CID: <WO_018ie68A1J_> 



wo 01/81858 



PCT/FROl/01274 



11 



10 



15 



20 



figure 4 et comprend cinq param^tres : les coordonn^es 
xo et yo de 1 ' isobarycentre du systeme forme par les 
deux segments, la longueur commune L des deux segments, 
1' angle 6 form6 par les deux segments avec 
I'horizontaie et la distance d s^parant les deux 
segments. Les coordonn6es des points des deux segments 
sont donn^es par les equations 



(2) 



X = Xo + u — cos (9) + — sin (9) 
2 2 

y = Yo + u|-sin(9)- — cos(9) 



et (3) 



X = Xq + u — cos(9) - — sin(9) 
2 2 

Xj d 
y = Yo + u - sin(e) + — cos(8) 



avec u (parametre de parcours) compris entre -1 et +1. 

Mais si on veut tenir compte d'un effet de 
perspective, le modele precedent peut . §tre enrichi des 
param^tres 59 exprimant des deviations en sens opposes 
et convergent des deux segments, comme 1 ' exprime la 
figure 5 ; les points selectionnes par I'operateur sont 
alors au nombre de 4. Les equations 



(4) 



X = Xq + u — cos(9 + 59) + — sin(9) 
2 2 
L d 

y = Yo ^ — sin(9 + 59) cos(9) 

2 . 2 



et (5) 



x-x^ + u^ cos (9-59)~|-sin (9) 
y = y^+u ^sin (9-59)-h ^ cos(9) 



0 2^ '2 
remplaceront les equations (2) et (3) . 

La projection d'un cercle dans I'espace sur 
une image bidimensionnelle est une ellipse dont un 
parametrage possible peut §tre lu sur la figure 6 : les 
parametres sont les coordonnees Xo et yo du centre, les 
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longueurs li et I2 de grand et de petit axe et 
1 ' orientation 0 du grand axe par rapport a 
1 'horizontale . Les equations 

(6) ^ ^ -"-i cos(e)cos{u) - I2 sin(e)sin{u) 
[y = Yo + li sin(e)cos (u) + 1^ cos(e)cos (u) 

5 donnent les coordonn^es des points de 1' ellipse, ou u 
est un parametre d'abscisse curviligne compris entre 0 
et 27C. 

Le procede commence par une initialisation 
de la representation, de 1 ' environnement , en general 

10 manuelle, ou un operateur examine une des images sur un 
ecran d'ordinateur et repere des contours a mod^liser. 
Apres avoir choisi le type de contour adapte, il vise 
sur 1' ecran un nombre suffisant de points pour definir 
ce contour et permettre un premier calcul des 

15 param^tres. 

Ces points sont figures par des 6toiles sur 
les figures 3 et 4 : il s'agit des extr^mit^s du 
segment, et des extr^mit^s d'un limbe de cylindre et 
d'un point de 1' autre limbe. Une ellipse est d^finie 

2 0 par cinq points. 

L'^tape suivante "est une adequation du 
contour s^lectionne par 1' operateur ou automatiquement 
^ 1 ' imiage 'gracie a ' une f one t ion de potent iel au moyen de ' 
calculs faits par le module de localisation 20. En 

25 general, 1 ' amelioration d'un module sur une image est 
chiffree par la diminution successive d'une fonction Pe 
dite de potential qui comprend plusieurs termes . Un 
seul terme d'energie suffit ici dans la plupart des 
cas. L' image est traitee en calculant les differences 

30 de niveaux de gris numerises de points voisins, pour 
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associer a chacun des points de 1 ' image une intensite 
de potentiel 61evee si le point est dans une zone de 
teinte uniforme, et une intensity de potentiel faible 
s'il est dans une zone de transition ou de 
5 dlscb"'^^^^^^^^ teinte. " Si une image de potentiel 

etait representee, elle pr^senterait des zones fonc^es 
aux contours des objets et, en general, un fond clair 
ailleurs. La somme du potentiel d'xin contour est 
calculde sur tous ses points, puis un algorithme 

10 d' analyse num^rique par descente de gradient est mis en 
oeuvre pour calculer les variations du potentiel en 
fonction de la variation des parametres du contour. 
Dans le cas present, c'est plutdt la somme quadratique 
£ du potentiel Pe le long du contour C qu'on cherche k 

15 minimiser selon 1' equation 

o^i a est le vecteur des parametres du modele et x, y 
sont les abscisses et les ordonn^es des points du 
contour. Outre sa rapidit6 de convergence, cet outil 
20 numerique presente I'avantage de fournir une Evaluation 
de la matrice de covariance sur le modele estimd, not6 
Aa. Cette information sera exploitee par le module de 
reconstruction et de localisation tridimensionnelles . 

On utilise une distance spEciale donn^e par 

25 1' equation 

(8) f(d) = 1 - eW 
pour calculer le potentiel Pe des points de 1' image. 
Cette distance speciale poss^de les avantages d'etre 
quadratique au voisinage de z6ro, c'est-a-dire du 
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contour, et d'§tre 4 peu pres constante lorsque la 
distance euclidienne entre points de 1' image d devient 
importante. a est un coefficient fixe. Cette distance 
est comparable a un coefficient de pond^ration qui 
5 att^nue 1' influence des points eloighes dans le calcui 
du potentiel Pe. 

Cependant, un terme de potentiel 
supplement aire est utilise en sus du terme Pe precedent 
pour les contours de cylindre. En effet, il est 
10 frequent que ces ^l^ments soient soumis a des 
variations d'^clairage qui y cr^ent des bandes tr^s 
ref lechissantes de specularites vers lesquelles le 
modele d^formable pourrait converger en les confondant 
avec des contours. L' utilisation de ce terme 
15 suppl^mentaire previent ce danger : il s'agit d'un 
terme de potentiel conventionnellement tres elev4 pour 
les points fortement eclaires ; le potentiel total 
-ainsi modifie devient eleve autour des bandes 
r^f lechissantes, ce qui repousse les contours modelises 
2 0 vers les contours reels du cylindre. 

II faut encore signaler 1' influence des 
abierrations geometriques in t r od ui t es par les lentilles 
d'un objectif : une droite dans I'espace se projette en 
segment: de courbe, plutdt qu' en . segment rectiligne, sur 
25 1' image- Les modules deformables opposes ici ne 
permettent pas d'approcher parfaitement de telles 
parties deformees, mais on peut utiliser un precede de 
correction des aberrations geometriques pour appliquer 
le proced^ de 1' invention a des images rectifiees, 
obtenues sans distorsion. Ce precede de correction est 
fait pour tous les points de 1 ' image a la fois au 
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pr^alable, et c'est 1 ' image rectifide qui est conserv^e 
dans la memoire 12 • 

Les aberrations geometriques sont composees 
i de deux termes, dont un terme de dis tors ion radiale qui 

• 5 dSplace "un point r^^^ par rappdrt au centre 

^ optique de 1' image et s'exprime comme un polynome 

d' equation 

(9) 5^(r) = iqr^ + K^r^ + K^r'' 
en fonction de la distance radiale r = ^Jyi^ ^ ; et un 
10 terme de distorsion tangentielle qui intfegre une 
composante tangentielle et une composante radiale 
conformement axix Equations 

r6^(x) = P,t= + 2x) + 2Epcy 
; |5^(y) ^ p^(^2 ^ 2y) + 2P,xy • 

Les coefficients Ki, K2, K3 et Pi et P2 sont 
15 des coefficients de distorsion estim^s pendant 
I'etalonnage de la camera. 

La distorsion radiale est estimee par un 
calcul preliminaire . d'une table d' aberration en 
fonction de la distance radiale. Cette table fait 
20 correspondre, pour chaque distance radiale ro du centre 
d'une image d'^talonnage distordue, la distance 
correspondante r^o d' un m§me endroit dans 1' image non 
distordue. L'ecartement entre les valeurs successives 
des distances ro logees dans la table est choisi pour 
25 que la precision minimale A entre des valeurs 
successives de la distance corrig^e Tm soit respectee. 
Ce precede permet d'obtenir une precision qui peut 
atteindre un dixieme du pas entre deux points 
successifs de 1' image. 
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On ne prevoit pas de proc^der de la m§me 
fagon pour tenir compte de la distorsion tangentielle, 
car les tables donnant des corrections en fonction des 
coordonnees x et y devraient concerner tous les points 
5 de 1' image et occuperaient une place excessiv^^^ eh 
memoire. C'est pourquoi, s'il faut tenir compte de ces 
distorsions tangentielles, il est conseill^ d'utiliser 
un algorithme de recherche de racine d' Equation fondle 
sur les Equations (10), tel que I'algorithme de Powell 
10 bien connu dans I'art. 

On passe maintenant a la description du 
deuxieme module 21 du systeme d' exploitation, qui est 
un module de reconstruction et de localisation qui 
exploite les positions des contours d'objets d^tect^s 
15 pr^c^demment sur les images pour estimer la position de 
ces objets dans 1 ' environnement , c'est-a-dire 
construire la representation tridimensionnelle de 
celui-ci, tout en calculant la position du capteur 7 
d' image par une etape de localisation. Le precede est 
20 recurrent, c'est-a-dire que les images sont exploitees 
successivement , la representation de 1 ' environnement 
etant a chaque fois completee et corrig^e pour la 
rendre plus precise. II s'agit d'une application du 
filtre de Kalman._. On; d^crit ici .1 'utilisation d'un 
25 capteur 7 st^reoscopique ^ deux • cameras, mais le 
proc6d6 serait applicable a un capteur a camera 
unique : la reconstruction et la localisation ne 
pourraient §tre appreciees qu'a un facteur d'echelle 
pres, qu'on pourrait donner en injectant une 
30 information supplement aire dans le systfeme, telle 
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qu'une distance entre deux points ou le rayon d'un 
cylindre. 

Nous donnons ci-dessus les formules qui 
lient, pour une camera d'indice i du capteur ayant pris 
5 uiie ima"ge ^ l ' instant le vecteur des param^tres 

de I'objet detecte dans un repere absolu et le vecteur 
de ses coprdonn^es d' observations dans cette image. 
La camera aura sa position notee par une matrice de 
rotation et un vecteur de translation t^ dans le 

10 repere absolu- Les formules de passage sont not^es par 
la lettre h. 

Dans le cas d'un point, les equations 



(11) hj(x,,4) = 



u - f — 



V - f ^ 



= 0 



ou (xk,yk,zk)^=R!^(x,y,27+ti sont respectees, avec 
15 x„ = (x, y, z)^ , 24=(u,v) . 

✓ 

Dans le cas d'une droite, X)^ et sont 
definis par les vecteurs (13) - (x, y, z, p, (p)^ , 

z4=(u,v,6), ou P et <p sont les coordonnees sph^riques du 
vecteur directeur de la droite et 0 1' angle que sa 
20 projection fait sur 1 ' image ; les formules 

(14) h4(=o.,^>{te^")-0 

ovi X est le produit vectoriel, donnent les conditions k 
satisfaire, ou (m^c, v^) sont les parametres de la droite 
{les coordonnees d'un de ses points mjc et de son 
25 vecteur directeur) conformement aux equations 

(15) m,, = R^m + t^, v^ = R^v , 
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iHp represente les coordonnees de la projection du point 
irijc sur 1' image, mj est le milieu du segment detecte sur 
1 ' image et Vj est le vecteur directeur du segment, 
conformement a la figure 7, et mi et Vj sont deduits de 

Un cylindre infini est defini par le 

vecteur 

(16) Xk={x,y,z,p,<p,r)^, 
oh X, y et z sont les coordonnees (not^es m) d'un point 
10 de son axe, p et cp sont les coordonnees sph^riques 
(not^es v) du vecteur directeur de son axe, et r est 
son rayon. Les equations 

(17) m^ = R^m + t^ et v^ = R^v 
expriment la position de I'axe du cylindre dans le 

15 repere de la camera i It 1' instant k. On calcule en 
outre (mi, Vi) et (m2, V2) / les coordonnees de ses 
limbes, et mpi et mp2 les projections de points mi et mj 
des limbes sur 1' image, A partir des parametres mesur^s 
sur 1/ image 

20 (18) (u, V, e, 60, d), 

on d^dtiit le vecteur d' observation Zk=<Ui, 
vi, 9i,^U2. V2, 82) correspondarit aux points milieux et 
aux orientations des deux limbes observes et on obtient 
1' equation de mesure 

^(mii—mR^cvii ^ 

25 (19) W,(x.,zi)= (--ifrj^J^ 

vi2.(m2XV2) 

La figure 8 represente ces parametres. 
Conformement au cas de la droite, Vn et mn, V12 et mi2 
sont deduits de zjc. 



=0 
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Quant au cercle, il est ddfini par un 
vecteur d'6tat conforme h la formule 

(20) Xic=(x,y,z,p,(p,r)S 
OTJ X, y et z designent les coordonn^es de son centre, p 
5 et 9 les coordonn^es sph^riques du vecteur directeur de 
sa normale et r son rayon. De plus, les formules 

(21) = Rlja + t^^ et v,, = v 
s 'appliquent . Si les coordonn^es d' observation sont 
representees par la fonction 
10 (22) zj^ = (u, V, li, Ij, G) , 

les equations 

f c3o-M^ +y'K +^ -^) + l-2byJ/Q) ^ 

q, - ((2at^ + i^, + ^ - - 2b3s. - 2ayJ / q)) 

g,-((2ac{><+y^ + ^-r^)-2c^-2a^)/Q) =0 

q^ - ((2bck + y". + ^ - ^) - 2cy, - 2bz,) / q) 
q,-((c^(5<+y',+2^-r') + l-2c2;.)/Q) ^ 

avec Q = a'(x= +y^ + z^-r*) + l- 2bx^ expriment le 

passage entre le vecteur d'etat et les observations, oix 
15 qo, q4 sont issus d'une conversion des paramfetres 

(22) pour obtenir une representation de 1' ellipse sous 
: forme implicite telle que u^ +qov2 +qiuv+q2U+q3V+q4=0 . 

Nous passons maintenant a la description du 

precede de reconstruction dans le cas particulier d'un 
20 capteur forme de deux cameras fixes I'une par rapport k 

1' autre, notees par leurs indices 1 et r et prenant 

simultanement une image. Pour un point, le vecteur 

d' observation global peut s'exprimer par 

(24) Zk=(U^,V^.u'',V^,Xk»Pk/OtK,txk» tyk, tjk) 

25 ou u^, v^, u"^ et v^ sont les coordonnees du point sur 
les deux images et les autres param^tres sont les 
vecteurs d' orientation et de translation du capteur 
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dans le repere absolu. La fonction d' observation du 
point est alors donn^e par 1' equation 

(25) hp(x,,z^) = 



dont la solution (dont on aura remarqu^ gu'il s'agit de 
5 duplication de 1' equation (11) pour les deux cameras) 
donne une evaluation du vecteur d'etat xjc du point, 
compose des coordonnees x, y et z dans le repere 
absolu. 

La localisation d'une droite est 
10 conditionnee par I'obtention d'un vecteur d' observation 

(26) z,c=(u\v\e\u^,v',e^,3Ck.Pk.ak. txk, tyk. tzk) ^ 
et la resolution des equations 



(27) h,(x„2,) = 



de fagon analogue ; rappelons que les parametres 9 sont 
15 les angles des projections de la droite sur les images 
1 et r par rapport k I'horizontale. 11 faut toutefois 
noter que, comme on observe des segments de droite 
plutSt que des droites elles-meme, le vecteur d'etat 
d'une droite est dpnnei par la formule 
20 (28) Xk=(a,b,p,q)S 

plut6t que par les coordonnees d'un point de la droite 
et le vecteur directeur de cette droite. A chaque 
acquisition, la droite estimee par les parametres du 
vecteur d'etat a, b, p et q est exprimee sous forme 
25 d'une droite finie de parametres x, z, p, <p et 1 ou 

la longueur du segment est designee par 1 et le milieu 
de ce segment par les coordonnees x, y et z • Ces 
derni^res coordonnees sont evaluees par une 
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reprojection dans 1' image. La definition des param^tres 
a, b, p, q peut etre donnee ci-dessous : 

- la droite a un vecteur directeur (1, a, b, ) et un 
vecteur de position (0, p, q) sauf si elle est 

5 perpendi culaire a 1 ' axe Ox ; 

- elle peut §tre d^finie par le vecteur directeur (a, 
1, b) et \m vecteur de position (p, 0, q) sauf si 
elle est perpendiculaire k I'axe Oy ; 

- et par un vecteur directeur (n, b, 1) et un vecteur 
10 de position (p, q, - 0) sauf si elle est 

perpendiculaire a 1 ' axe . Une convention de 
preference permet de definir une priority quand 
plusieurs de ces representations sent possibles. 

En ce qui concerne le cylindre, il est 
15 encore ddf ini dans la representation par des param^tres 
a,b,p, et q de son axe, et par son rayon, selon la 
formule 

(29) X)c=(a,b,p,q,r)^ 
Le vecteur d' observation est defini par la 

20 formule 

(30) = {v!,.vi,Gi',,^J^,v'^.&^,^2l,^^,.^ . 
Le syst^me 



(31) h^(x,., z^) = 



= 0 



doit §tre r^solu. Enfin, le cercle k vecteur d'etat 
25 defini par la formule 

(32) xk= (x,y, z, p,<p,r) S 
le vecteur d' observation defini par la formule 

(33) = (uSv^,l^,l^,e'.u',v'A''^''e^'aK'ftc'Xc.t:x,'tV,.t^^. 
et le syst^me 
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(34) h^y(x„, zj = 



= 0 



doit Stre resolu. 

A chaque nouvelle acquisition, 1 ' estimation 
de la position de I'objet est affin^e, Quand un objet 
5 apparalt pour la premiere fois dans un couple d' images, 
cette estimation est initialisee par une reconstruction 
pr^liminaire par triangulation . Des methodes ont ete 
proposees dans I'art. Une initialisation convenable 
permet de faire converger 1' estimation de position de 

10 I'objet rapidement a chaque nouvelle image. 

La reconstruction de 1 ' environnement 
tridimensionnel implique une localisation du capteur, 
dont la position n'est en general pas connue, ou n'est 
connue qu'avec une precision insuf f isante . A chaque 

15 nouvelle acquisition, on utilise les points d^j^ 
reconstruits dans 1 ' environnement et leur vecteur 
d' observation pour effectuer une pr6-localisation du 
capteur en recherchant 

(36) min(xk,Pk,ak, tx,ty, tz )=2IN(^'^^ t ' 

20 c'est-^-dire les valeurs Xk, P^/ a^, txk, tyk, t^k qui 
donnent la meilleure concordance entre la 
representation de 1 ' environnement et son image sur les 
cameras (h proche de 0), pour tous les points j du 
modele. Ensuite, on r^sout de maniere recurrente les 
25 Equations 

(37) hp(Xk,Zk)=0, hd(Xk,Zk)=0, hey (x^, Zk) =0 , 
ou he (Xk. Zk) =0 
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(une par objet d^j^ reconstitue, selon la categorie de 
I'objet), ou les vecteurs d' observations sont donnes 
par la formule 

(38) ZK=(u\v\u^,v^,x,y,z)S 

ou = (uSv^^ii^i^^e^^uSv^AM^^e^'^'y'Z'P'^p.rjr 

appropriee : il s'agit d'une autre application du 
filtre de Kalman ou le vecteur d'6tat estiin6 est dans 
10 ce cas (Xk. Pk. ttk, txk. ty„\ t^^) • Le module 22 effectue cette 
localisation. 

Le module d' identification 23 du systfeme 
permetd' identifier automatiquement au moins une partie 
- des contours qui font 1' objet des calculs precedents , k 
15 chaque fois qu'une image est prise. On propose d'agir 
de . la f agon suivante : 

- select ionner une image precedente k©, de preference 
-proche de 1' image actuelle k en ce qui concerhe les 
positions et orientations de prise de vue ; 
20 ; - selectionner des points. d'inter§t lo sur cette image 
pr6c6dente : ko, ce. qui- peut gtre... fait 
automatiquement, les points d'iht^ret ayant comme 
- propriety generale-^ de - presenter- un gradient 
important de luminosity a leur voisinage, peu 
25 sensible en general aux changements de conditions de 

prise de vue (eclairage, zoom, exposition de la 
vue) • Un point caracteristique deja identifie a une 
image ko sera done le plus souvent identifie de 
nouveau sur une image suivante k, sauf s'il est 
3 0 alors cache par un autre objet de 1 ' environnement ; 
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- quand les points d'interet Iq et 1,^ des deux images 
ont 6t6 trouv^s, ils sont mis en correspondance 
d'une image a 1' autre ; on peut utiliser pour cela 
1 ' information de luminance au voisinage de chacun 

5 d'eux, qui est susceptible de les caract^riser au 

mieux ; elle est codee sous forme vectorielle en 
utilisant differents f litres. Le module recherche, 
pour chaque point d'interet Ik de la nouvelle image 
k, celui des points d'interit lo de 1 ' image 

10 prec^dente ko qui lui est le plus similaire en 

calculant un score de correlation ou une distance 
vectorielle (voir par exemple les travaux de C. 
Schmid « Appariement d' images par invariants locaux 
de niveaux de gris », Thfese de doctorat INPG, 

15 1996) ; 

— quand les correspondances entre couples de points 
d'interSt, supposes provenir des projections 
respectives sur les deux images d'un meme point de 
1 ' environneirient , ont ete determinees, une matrice de 
correspondance entre les deux images a ainsi ete 
obtenue. II devient alors possible de projeter le 

- modele tridimensionnel estime__auparavant._sur 1 Mmage 
actuelle au moyen de cette matrice. Les contours 
ainsi obtenus servent d' estimation pr^liminaire de 
contours d'objets pour la nouvelle image k, et ils 
sont utilises en appliquant sur eux le proc6d6 
explicite plus haut du module 2 0 en utilisant des 
modeles d^formables. L'op^rateur n'a done pas a 
recommencer completement la selection des contours 
30 sur la nouvelle image k. II peut ^videmment 

rectifier des contours qui apparaltraient comme 
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incorrects ou eliminer des contours occultes par 
d'autres objets de 1 ' environnement . Cornme le 
programme est congu pour eliminer lui-meme les 
contours occultes par des objets dejk incorpores au 
5 modSle, x'opgrateu^^^^ ne ' devrait erimiiier que les 

contours occultes pour des objets qui n'ont pas 
encore 6t6 identifies. Il doit cependant introduire 
les contours apparaissant pour la premiere fois sur 
1 ' image k . 

10 Un dernier module est un calcul 

tridimensionnel en bloc. II est accompli par le module 
24 quand toutes les images de 1 ' environnement ont 6te 
exploitees de la maniere qu'on a d^crite et qu'une 
representation de 1 ' environnement a 6t^ compl6t6e. Le 

15 calcul est men^ de la fagon suivante : 

- A partir des param^tres r]^ et tj^ a priori 
pour chaque image les projections des contours de la 
representation sur les plans d' image de la camera sont 
calcul6es ; 

20 - les ecarts entre les positions des 

contours projet6s et les positions des memes contours 
6valu6s auparavant sur les m§mes images sont calculus ; 

les positions des contours dans la 
representation sont reevalu6es afin de minimiser les 

25 ecarts. 

On procede en utilisant une methode des 
moindres carres en minimisant une erreur globale. Un 
vecteur x=(xgi . . . Xgh Xmi ^Mp)'^ ou les Xg regroupent 

les paramfetres de tous les n objets de la 
30 representation et les Xm regroupent les parametres des 
p prises de vue (a, %, tx, ty, t^)"^ peut etre defini, 
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ainsi qu'un vecteur z de mesure qui regroupe 1' ensemble 
des observations faites pour chaque objet et pour 
chaque image. L'ajustement effectue par le module 24 
revient ^ la minimisation d'une f onctionnelle d'erreur 
5 F{x,z,a) ou a comprend des inforinatibns cohriues sur les 
moyens de prise d' image (par exemple leurs param^tres 
intrinseques, centre optique, focale, coefficients 
d'echelle et de distorsion) , ou sur la representation 
(par exemple des parametres du vecteur x qui sont 

10 supposes bien determines ou connus) . Des ponderations 
des differents parametres peuvent Stre introduites. Ce 
module 24 permet done d'^valuer les incertitudes de la 
representation de 1 ' environnement et de les reduire en 
modifiant les parametres estimes de prise de vue. 

15 II est possible de corriger certains 

parametres ou de les bloquer. Les parametres utilises 
sont u et V pour le point, 6 et d (distance a I'origine 
du referentiel d' image) pour la droite et chaque limbe 
de cylindrQ, De plus, on utilise encore les coordonnees 

20 u et V des extremit^s des segments de droite et de 
cylindre. 

Le,..calcuL._.en „bloc _est utilisatd 
pour effectuer la mesure de la position et de 
1 ' orientation d'un ou plusieurs objets au moyen d'une 

25 seule image «t d'une camera. II sera ndcessaire pour 
cela de disposer d' informations complementaires sur les 
objets : les caracteristiques geometriques de chaque 
objet doivent etre connues et injectees dans le calcul 
en bloc. La mesure des projections dans une seule image 

30 de ces dites caracteristiques est suffisante alors pour 
determiner la position et 1 ' orientation de 1' objet. II 
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sera n^cessaire de veiller a disposer de 
caracteristiques en nombre suffisant pour ^valuer tous 
les parametres de position et d' orientation . 



SOOCIO: <WO OIBIBSBAI I > 



wo 01/81858 



PCT/FROl/01274 



10 



28 

REVEX9DICAT10NS 

1. Precede de mesurage d'objets 
tridimensionnels d'un environnement tridimensionnel , 
consistant ^ prendre au moins une image par au inoins 
une camera et a creer urie repfesentation de 
1 ' environnement d ' apres une analyse de 1 ' image , 
caracterise en ce que 1' analyse comprend une detection 
de discontinuites d' aspect de 1' image, une association 
des discontinuites detectees k des contours 
geometriques d^finis sur 1' image par des param^tres, un 
ajustement des contours aux discontinuites en faisant 
varier les parametres, une estimation de forme et de 
position dans 1 ' environnement d'objets gdom^triques se 
projetant sur 1' image d' apres lesdits contours, la 
15 representation comprenant lesdits objets. 

2 . Proc4d4 de mesurage selon la 
revendication 1, caracteris^ en ce que les contours 
geometriques comprennent le point, la ligne droite, 
1' ellipse, et les objets comprennent le cercle, le 

2 0 cylindre, la droite et le point. 

3. Precede selon 1 ' une quelconque des 
revendications 1 ou 2 , caracterise en ce que les 
param^tres comprennent des coordonnees cartesiennes 

.planes,-, des. angles et des longueurs. 
25 4. Procede selon I'une quelconque des 

revendications 1, 2 ou 3, caracteris6 en ce qu'il 
comprend, pour detecter les discontinuites d' aspect de 
1' image, une conversion des images en images de 
potentiel des points de 1* image, les potentiels etant 

3 0 calcules pour avoir une valeur extr§me aux 

discontinuites . 
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5. Proc6d6 selon la revendication 4, 
caract6ris6 en ce que le potentiel comprend un terme 
tenant compte de zones de tr^s faible intensity de 
niveau de gris des images. 
5 6. Prbc^i^ selon I'iirie quelcdhque des 

revendications 1 h 5, caractdris6 en ce que 
1' estimation de position des objets est compl6t6e par 
une estimation de position de la camera d'apr^s la 
representation de 1 ' environnement et 1 ' image de la 
10 camera . 

7. Proced^ selon I'une quelconque des 
revendications 1 a 6, caracterisd en ce qu'il comprend 
des estimations initiales de position des objets ou de 
la camera a partir d' informations sp4cifi6es 

15 manuellement ou k travers un fichier informatique de 
description. 

8. Proc6d6 selon I'une quelconque des 
revendications 1^7, caract^rise en ce qu'il comprend 
une repetition des Stapes de detection, d' association, 

20 d'ajustement et d' estimation pour chacune des images, 
la representation de 1 ' environnement etant rectifiee 
par des corrections de position des objets pour chacune 
des images . 

9. Precede selon la revendication 8, 
25 caracterisee en ce qu'une projection des contours des 

objets de la representation de 1 ' environnement est 
faite sur chaque nouvelle image avant la detection des 
discontinuites d' aspect de ladite nouvelle image. 

10. Precede selon la revendication 9, 
30 caracterise en ce que lesdits contours projetes sont 

ajustes sur les discontinuites d' aspect de 1' image. 
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11. Proc6de selon I'une quelcongue des 
revendications 8 et 9 , caracterise par des additions de 
contours geom^triques et d'objets geom^triques se 
projetant sur lesdits contours pour certaines au moins 

5 des nouvelles images. 

12. Procede selon I'une quelcongue des 
revendications 1 a 11, caract^ris^ par une correction 
de position des objets en estimant les positions de 
projection des objets sur les images d'apres les 

10 positions respectives de la camera quand les images 
furent prises, et en ajustant les positions de 
projection estimees d'apres les positions de projection 
mesur^es sur les images . 

15 
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